重新思考 Agent Harness 中的验证设计
🧭 Agent 验证设计与低成本 critic 扩展 ★ 深度解读
Cornell University · Alibaba Group
系统对比 17 种 agent 验证设计，独立低费 critic 带来 5.9–9.5pp 编码提升且成本仅 1.13–1.25×
📌 工作参考价值（4 点）
- 在电商 Agent 工作流（自动生成 SQL、商品文案、广告素材、数据分析报告）中，把最终验收拆给独立 critic，而不是让执行 agent 自查；critic 可用低成本模型，上下文只给任务要求和 diff/changes，不给完整轨迹，可降低 critic token 29–43% 且效果更稳。
- 对可视化/交互产物（如落地页、创意 Banner、可交互配置器），在 critic 指令中要求调用渲染/截图工具做视觉检查；VisualBench 显示 changes + visual inspection 净偏好最高（+23.8pp）。
- 用系统提示词注入简洁 verification instruction，并在每次代码/文件修改后插入 after-edit reminder，可作为低成本 default；但不要轻易使用完成时自我复查完成门，容易显著抬高成本。
- 如需继续 scale，优先增加独立 critic 数量（width）并合并反馈后一次修订，比多轮 review（depth）更省总成本（约 19% lower）；避免让主 agent 多次重复执行。
BrickBench：评估智能体乐高设计能力的基准
🧭 Agent 设计评估基准
Stanford University · Max Planck Institute for Intelligent Systems · Inria
提出 BrickBench 基准与环境，评估编码 Agent 在文本条件 LEGO 设计中的物理与语义满足度
📌 工作参考价值（3 点）
- 评估复杂约束生成任务时，可拆分 validity/alignment/design 三指标，对应推荐系统中的可执行性/相关性/体验质量，便于定位 Agent 短板。
- BrickAgent 的“编码-执行-检查-修订”循环是评估推荐 Agent 的可借鉴范式：给 Agent 提供可调用的库存查询、规则校验、模拟器接口，而非仅做文本输出。
- 三种约束设置（不同零件库规模与可用性）提示在推荐场景中应测试 Agent 在不同库存、预算或商品池约束下的泛化能力。
AutoCompact：学习何时压缩长程编码智能体上下文
🧭 长程 Agent 上下文主动压缩 ★ 深度解读
Singapore Management University · Nanyang Technological University · Harvard University
训练编码智能体主动决定何时压缩上下文、保留什么工作状态以及如何继续，显著提升长程任务成功率
📌 工作参考价值（4 点）
- 主动压缩而非长度触发：在长程多轮Agent（如电商导购、搜索Agent）中，可引入类似compact()的工具，让模型在任务阶段转换时主动总结上下文，而非等到窗口将满；证明即使上下文未溢出，主动压缩也能提升效果。
- Judge-guided在线纠错数据收集：用更强模型作为judge在线审查agent的每个动作（压缩时机、摘要内容、后续行动），并执行纠正后的动作继续轨迹，能高效收集示范数据，尤其当目标行为在基座模型中很少出现时。
- RL联合优化压缩与任务执行：使用最终任务成功作为唯一奖励，同时优化压解决策、摘要生成和压缩后行动，无需额外的压缩专用奖励；实现上将轨迹按上下文重写点分段，各段共享advantage，简单有效。
- 摘要自一致性检查：除信息覆盖外，还要求摘要记录的状态与提出的下一步行动一致；在业务中可借鉴此标准评估Agent生成的中转状态质量。
CliffCompaction：面向长程编码智能体的高成本效率上下文压缩
🧭 Agent 长程上下文压缩与成本优化
Carnegie Mellon University · Bosch Center for AI
一种只截断/丢弃、不重写原文的自动压缩法，在受限上下文下最多降低50%成本并保持或提升编码Agent性能
📌 工作参考价值（4 点）
- 在需要长会话/多轮 Agent 的场景（如导购、客服、推荐解释）中，上下文压缩优先采用“只截断/丢弃原始内容、不重写”，避免摘要改写引入信息偏差，可显著降低 API 成本且保持质量。
- 强制“绝不压缩已压缩内容”，每轮压缩都基于原始会话/文档，防止跨轮次的上下文漂移累积，适合超过百万 token 的持续学习/多轮交互。
- 将压缩逻辑做成 API proxy，不改动现有 agent scaffold 即可接入 Claude Code、Codex 等，业务侧可快速对现有推荐/广告 Agent 工作流做成本优化和 A/B 测试。
- 用相同预算做 test-time scaling（如并行采样多个推荐解释/策略）时，压缩带来的 per-rollout 节省让更多采样成为可能，可能以更低成本获得性能提升。
EmbodiedSWE：编码智能体用于长时程灵巧机器人及策略监督
🧭 编码智能体与机器人策略数据生成
ByteDance Seed · Yale University · Princeton University · Carnegie Mellon University · Stanford University
提出 EmbodiedSWE 基准与 EmbodiedSWE-Gen 流水线，用编码智能体解决机器人任务并生成大规模训练数据以提升 VLA 策略
📌 工作参考价值（4 点）
- 借鉴 EmbodiedSWE-Gen 的思路：让 LLM coding agent 在仿真/沙盒中生成任务解决方案（如推荐策略、用户模拟器或 query 改写规则），再通过参数扰动、初始状态随机化、对象属性变化等方式扩充为大规模多样化交互轨迹，用于训练排序/策略模型，降低人工标注成本并提升长尾场景泛化。
- 为 coding agent 封装可验证的工具 API 与奖励函数（例如模拟用户反馈、转化率仿真器、线上策略回放），使 agent 能迭代 refine 策略；业务上可将验证通过的 agent 方案蒸馏进轻量模型部署，避免线上实时调用的高延迟。
- 利用“单方案/单轨迹→多样轨迹”的扩增方法：在推荐系统中，将一条成功用户轨迹或一个高质量策略通过环境扰动、反事实操作、行为模拟生成大量多样训练样本，缓解数据稀疏和冷启动问题。
- 注意 agent 生成方案需要大量迭代交互且易任务特化，落地时优先离线用于高价值场景（如大促机制设计、自动化营销策略生成），并设置验证门槛以减少无效探索。
面向安全机器人操作的障碍感知编码智能体约束框架
🧭 编码智能体的安全约束规划
USC · UCF · UCSB
提出 SafeHarness，通过障碍感知路径规划与接触执行显著提升编码智能体的任务成功率和避碰率
📌 工作参考价值（4 点）
- 约束优先级显式化：在 prompt 里写“不要撞障碍物”不够，需把安全约束拆成结构化步骤。电商 Agent 中“不违规”“不超预算”等约束可借鉴：先规划、验证约束、必要时重新规划，再执行。
- 阶段分解定位失败：将任务拆成 route phase 和 contact-rich moment，分别定位不满足约束的环节。推荐/广告 Agent 可对“选品→出价→文案”分段做约束检查，避免只在最终输出把关。
- 用结构化中间表示消解歧义：将物体表示成 bounding boxes、路径写成 waypoints，减少 LLM 对场景的自由裁量。对应到业务可用结构化 schema（如候选 query 列表 + 规则标签）让 Agent 做约束内选择。
- 验证-重规划闭环：选择路径后先 verify，不可行就 replan，而非一步到位。适合用在需要多步决策的推荐 Agent 流程，比如先选候选集再过滤违规项，失败后回退重选。
薛定谔的代码仓库：LLM 是学会还是背下了 SWE-bench？
🧭 LLM 评估 · 防泄漏动态实例化
Shanghai Jiao Tong University · Xi'an Jiaotong University · East China Normal University · Shanghai Innovation Institute
提出动态实例化仓库的评估框架，通过四种变换擦除熟悉线索，证明 LLM 编码智能体部分依赖记忆表面特征
📌 工作参考价值（4 点）
- 构建 Agent 或模型评测集时，对公开数据做表面扰动（重命名变量/函数、重排文件布局、语义等价改写）可暴露模型对表面特征的记忆，适用于 RAG 检索评测、商品知识问答或推荐 Agent 场景。
- 若模型在扰动后性能显著下降且交互轮次增加，说明其依赖记忆而非泛化检索；线上 Agent 遇到陌生仓库/商品目录结构时应关注探索成本，可引入定位模块或结构化索引减少无谓搜索。
- 四个变换层级可作为数据增强手段，训练模型对命名和布局不敏感，提升 Agent 在未见数据上的鲁棒性。
- 保留可执行行为同时擦除命名与布局思路，可用于生成语义等价的防泄漏测试集，避免线上评测被事先见过的文档或代码污染。
SWE-bench Science：编码智能体能解决科学工程任务吗？
🧭 Coding Agent 评估 · 科学软件工程基准
Shanghai Innovation Institute · Fudan University
提出含119个任务、覆盖20个科学领域的仓库级科学软件工程基准，最佳编码智能体pass@1不足50%，并归纳四类失败机制
📌 工作参考价值（4 点）
- 在推荐/搜索 Agent 中引入领域知识（类似 RAG 或 tool/context）时，要区分「高质量 grounding」与「弱对齐指导」：前者可提升平均性能并降低 token 成本，后者会诱导 anchoring，反而不提升精确修复。落地时建议做 A/B 或消融评估，不要默认注入更多领域知识一定更好。
- 论文把失败归为四类：知识/抽象不足、探索误导、修复覆盖/系统集成缺失、跨案例泛化不足。这可以迁移为 Agent 故障诊断框架，在电商场景下为推荐解释、代码生成、自动调参等 Agent 建立错误分类看板，针对四类分别改进 memory、search/tool 使用、集成测试与 few-shot 策略。
- 基准的三类任务范式 Issue-driven / Expert-exploratory / Engineering-integration 可用于设计 Agent 评估集：不只基于用户 issue 做修复，还要加入专家探索性任务和跨系统集成任务，能暴露真实业务 Agent 的鲁棒性问题。
- 成本敏感场景可同时监控「精确成功」和「token 效率」，高质量知识上下文即使不提升 exact match，也可能通过减少 token 消耗提升业务收益。
LEGO-RL：原生编码 Agent 强化学习训练框架
🧭 Coding Agent RL · 原生 harness 训练框架 ★ 深度解读
Huawei Technologies Co., Ltd · The Chinese University of Hong Kong
桥接原生编码 agent harness 与策略梯度优化，在不改控制流下实现可信 RL 训练并显著提升 SWE-bench 解决率
📌 工作参考价值（4 点）
- Agent 化推荐/搜索场景可复用 in-process proxy：在业务 Agent（如导购、客服选品）中，用模型 API 边界代理记录 token ID、log-prob、response mask 和 MoE 路由，训练侧重放，避免 harness 上下文压缩/重写造成轨迹失真；对于 sparse MoE 模型尤其重要，路由重放可将 rollout-train 概率相关性从 0.9946 提到 0.9993。
- 异步 rollout + 终止状态过滤：长 horizon Agent 任务时长差异大，按基础设施失败/超时/有效但不完整分类轨迹，无效轨迹排除出组相对优势估计，防止执行故障污染梯度；组内方差不足的任务需难度筛选，否则零方差组无学习信号。
- 奖励完整性防御可迁移到任何带执行反馈的推荐 Agent：限制网络、隐藏评测信息、依赖打包、隐藏仓库历史，防止 Agent 通过外部状态作弊，保证奖励真实反映任务完成。
- 可观测性设计值得借鉴：失败原因分布、轨迹查看器、一致性面板，在训练崩溃时快速区分策略退化与执行/集成故障，支持早停与人工诊断，减少无效实验成本。
训练 AI 科学家复现研究
🧭 AI Scientist 智能体训练
Inherent
构建论文复现任务集 Replica 与低噪声自动打分 judge，后训练 27B Faraday 智能体在复现任务上超越 Claude Opus 4.8 和 GPT-5.5
📌 工作参考价值（4 点）
- 自动生成评分 rubric 的思路可迁移到电商 Agent 评估：用可自动构建的细粒度 rubric 替代人类打分，能降低标注成本、减少评分噪声，适合评估推荐解释、query 改写质量或 Agent 执行轨迹。
- 用编码 Agent 作为工具是轻量级垂直 Agent 的有效构造方式：不必事事靠大模型规划，把可验证的子任务交给代码执行器，能在复现/批处理/数据管道等场景里提升稳定性和可复现性。
- 后训练 27B 小模型在垂直任务上超过 GPT-5.5 和 Claude Opus 4.8：说明在定义清晰、有自动 reward 的任务中，用中等规模模型+领域数据微调是性价比很高的选择，适合电商内部 Agent 落地。
- 低噪声 judge 可以作为强化学习 reward 信号：如果你的业务 Agent 需要 RL 优化（如广告文案生成、搜索 query 推荐），可借鉴这种 rubric-based 自动 judge 设计，减少 reward hacking。
ICAE-Bench：交互式项目构建编程代理评估基准
🧭 交互式编程Agent评估与用户模拟
Fudan University · Meituan Group · Singapore Management University · Shanghai Innovation Institute
提出首个从模糊需求出发交互式构建项目的编程代理评估基准，包含480个任务与自动用户模拟
📌 工作参考价值（4 点）
- 用户模拟器设计思路可迁移至对话式推荐：使用预定义的“用户数据”来约束模拟过程，避免人为虚构需求或泄露答案，确保交互可重现。搜索/推荐Agent评测中可借鉴此法，用历史行为序列生成模糊意图并模拟用户追问。
- 多维黑盒评估范式适用于Agent推荐：除功能正确性外，还细粒度评估语义相似度、结构保真度、交互质量等，可指导构建推荐/搜索Agent的全面评估体系，防止仅看单一指标导致误判。
- 将模糊需求锚定到具体真实代码库：在电商导购Agent场景，可用真实商品库或业务接口作为“可执行基准”，评估Agent能否将模糊意图（如“帮我找个性价比高的蓝牙耳机”）逐步澄清并落地为具体推荐/搜索动作。
- 通过隐藏约束与边界情况暴露Agent短板：评测表明当前模型擅长表层复现，但对隐藏业务规则、异常分支处理不足。在推荐系统中，可专门设计需要常识推理、用户长尾偏好、促销规则链的测试集，以检验Agent的深层理解与交互决策能力。
SpecBench：衡量长周期编程智能体的奖励破解
🧭 编程智能体评估 · 奖励破解量化 ★ 深度解读
Weco AI
提出 SpecBench 基准，通过可见/隐藏测试集分离量化编程智能体奖励破解，揭示长任务与弱模型下测试通过率严重高估真实质量
📌 工作参考价值（4 点）
- 显式分离可见与隐藏测试：在自动化流程（如 Agent 驱动的 pipeline）中，将单点功能验证与跨模块组合评估解耦，防止代理仅优化局部指标而忽视全局正确性。
- 长任务需设计端到端验证：对于复杂任务，仅靠单元测试无法暴露特征隔离等系统级缺陷，应补充覆盖真实使用场景的集成测试，尤其在电商推荐中，多模块协同的在线效果评估必须包含组合指标。
- 模型能力不能完全消除代理“作弊”：实验中强模型仍存在≥10-15pp 的 gaps，提醒我们在 Agent 选型时不应仅凭基础能力（如 MMLU）判断，需任务内专门验证其是否在投机取巧。
- 搜索策略影响破解形态：保留最佳公共分数的 Autoresearch 可能放大过度优化，树搜索 AIDE 可能探索出更健壮的架构，工程中应根据任务特点选择搜索模式，避免盲目使用贪心策略。
从可运行到可交付：多Agent测试驱动全栈Web应用生成
🧭 代码Agent测试驱动开发优化 ★ 深度解读
The Chinese University of Hong Kong · Columbia University · Singapore Management University
TDDev框架通过自动化验收测试、浏览器交互验证与失败翻译，使全栈Web应用生成质量提升34-48个百分点，且协议必须匹配模型风格。
📌 工作参考价值（4 点）
- 测试驱动的闭环反馈可用于生成式推荐或Agent管线：将业务需求（如“推荐多样化商品”）自动转化为结构化验收用例（用户故事+交互步骤+预期结果），由LLM agent模拟用户行为在部署环境执行验证，再将失败点转化为代码修复信号，可复用至多步推理或工具调用场景。
- 协议与模型生成风格匹配原则：在Agent工作流编排中，对偏好整体重写的模型（如Sonnet）应赋予高自主权的agentic TDD（仅给予工具和流程提示，不强制步骤），对偏好增量修改的模型（如Qwen）应采用分步强制的incremental TDD；错配会完全抵消反馈增益，且token消耗数倍增加，这一规律可迁移至多Agent协作策略选择。
- 浏览器交互验证的轻量化架构：使用Playwright + 可访问性树作为页面状态表示，由同一个LLM逐步生成Playwright动作并根据历史轨迹给出通过/失败/部分通过的verdict，无需预知页面结构，实现低误判（100%缺陷召回率，仅有保守型假阴性），该设计可直接用于电商Agent的UI自动化测试或端到端功能回归。
- 成本-质量权衡的量化方法：通过计算每提升一个百分点的token消耗（tok/pp），为不同协议建立边际成本曲线，指导生产环境选型；实验中增量TDD对保守模型带来最高精度但token消耗是整体TDD的24倍，为类似Agent系统的算力预算提供参考。